机器翻译都发展60年了，谷歌为什么还把「卡顿」翻译成 Fast (上)

虽然 Google Translate 已经发布了近 15 年了，但直到现在 Google Translate 仍然倔强地认为 Android phone is very fast.

最近 GT 的重大更新是 2016年开始采用神经机器翻译(GNMT)的系统，它包括8个编码器和8个解码器，用于9种语言的翻译。

他们不仅把句子分开，而且还把单词分开，这也是他们如何处理一个罕见单词的做法。当单词不在字典里时，NMT是没有参考的。比如翻译一个字母组 “Vas3k”，在这种情况下，GMNT试图将单词拆分为单词块并恢复它们的翻译。

但依旧无法解释为什么把「卡顿」翻译成「very fast」，而且当这个翻译成为国内工程师们这几天广为传颂的笑料后，Google 引以为傲的众包纠错仍没有成功干预这个错误翻译。

正因为这个小笑话，让我们想要开始研究机器翻译。本篇文章将对机器翻译这六十多年来的发展进行梳理，包括基于规则的机器翻译(RBMT)、基于实例的机器翻译(EBMT)、统计机器翻译(SMT)、神经机器翻译(NMT)等主流方法，以及 Google、Yandex 等厂商的领先算法进行分析。

您正在阅读的正是这篇系列文章的上半部分，《机器翻译的 1933-1984》。

进展缓慢的前四十年

机器翻译最开始出现于 1933 年，也就是冷战时期。

当时苏联科学家 Peter Troyanskii 在苏联科学院提出了「开发一种可以用于语言翻译，并能够打印文字的机器用」。这台机器的构造非常简单——只有四种不同语言的卡片和一台打字机，及一部老派电影摄影机。

操作员从文本中取出第一个单词，找到相应的卡片，拍下照片，并在打字机上键入其形态特征(名词、复数、属格等)。打字机根据其中某些特征进行翻译，并通过磁带和照相机的胶卷来呈现。

即便它能进行简单的翻译，但在当时仍被认作是一项「无用的」发明。可惜的是，Troyanskii 为这项发明耗费了 20 年光阴，最终死于心绞痛，这项发明也随之告终。在 1965 年两明苏联科学家发现这个机器之前，世界上几乎没人知道它的存在。

1954 年 1 月 7 日，也就是冷战开始初期，在纽约 IBM 总部出现了历史上第一台真正意义上的翻译机——IBM701，它将 60 个俄语句子成功翻译成英文，这就是著名的乔治城——IBM 实验。

但是，完美的噱头是为了掩盖了一个小细节。没有人提到翻译的例子经过仔细挑选和测试，以排除任何歧义。对于日常使用，这个系统不比一本快速翻译手册好。

即便如此，现代自然语言处理的基础仍是由包括美国在内的科学家们，通过不断尝试、研究和发展所创造的。今天所有的搜索引擎，垃圾邮件过滤器，以及个人助理的出现也是基于此。

基于规则的机器翻译(RBMT)

围绕基于规则的机器翻译这个想法最早出现在 70年代，科学家们仔细观察译员的工作，试图迫使电脑重复这些动作。这些系统包括:

• 双语词典(RU -> EN)

• 每一种语言的一套语言规则(例如以某些后缀为后缀的名词，如-heit,、-keit、 -ung等)，也就是词根词性。

如果需要的话，系统还可以添加一些技巧，比如名称列表、拼写校正器和音译程序。

PROMPT 和Systran是RBMT系统中最著名的例子，即便他们也有一些细微差别和亚种。

• 机器直接翻译

这是最直接的机器翻译类型。它将文本中的文字进行逐个翻译，并稍微纠正其形态，以及协调语法使整个段落看起来翻译的更准确。至于而这些修改规则，均是由专业的语言学家设定。

不过，这些翻译规则有时候会失效，而且翻译的很糟糕。虽然现代系统根本不使用这种规则，但却深受现代语言学家的喜爱。

• 基于语法结构的机器翻译

与直译相比，我们先确定句子的语法结构，就像我们在学校老师教的那样。然后我们分析整个结构，而不是个别单词，这在理论上有助于在翻译中获得相当好的词序转换。

但在实践中，这种方法仍存在局限。一方面，它简化了一般的语法规则，但另一方面，由于词语结构的增多与单字相比，它的翻译变得更加复杂。

• 中介语的机器翻译

在此方法中，源文本被转换为中间表示，并统一于所有世界语(interlingua)。它与笛卡尔所梦想的一样:一种元语言，它遵循通用规则，将翻译转换成简单的「来回」任务。这可以使 interlingua 能够转换任何目标语言。

由于这种转换，Interlingua 经常与基于转移的元语言系统相混淆。不同之处在于，语言规则是针对每一种语言和语言的，而不是语言对。这意味着，我们可以向 interlingua 系统添加第三种语言，并在三者之间进行转换，而这在基于语法结构的翻译系统中很难实现。

它看起来很完美，但在现实生活中却并非如此。创造这种中间语是极其困难的——许多科学家一生都在研究它。虽然他们没有获得巨大成功，但是多亏了他们，我们现在有了形态学，句法，甚至语义层次的表征。

不过，RBMT 也有优点，比如它的形态学准确性(它不会混淆单词)、结果的再现性(所有译者都得到相同的结果)，以及将其调到主题领域的能力(例如，教经济学家或工程界的术语)。

即使有人成功地创造出了一个理想的 RBMT，且不断有语言学家用所有的拼写规则来增强它，但总会有一些例外是它不能应对的。比如英语中的不规则动词、德语中的可分前缀、俄语中的后缀，以及人们用不同的表达方式等。

如果要对这些细微的差别进行补充修复，所耗费的成本是非常庞大的。不要忘了同音异义词，即同一个词在不同的语境中可以有不同的意思，这就导致同一句话可能存在许多种翻译。比如，当我说「我看见一个人在山上用望远镜」时，你觉得这里面会包含多少中含义呢？

语言并不是基于一套固定的规则来发展的——这是语言学家们喜欢的一个事实。而冷战的 40 年，虽然机器翻译在发展，但并未找到一个明确的解决办法来提高翻译的精度和便捷性。

所以，RBMT 早就凉凉了。

基于实例的机器翻译(EBMT)

到了上世纪八十年代，为了在即将到来的全球化中，尽快站稳脚跟，很少有人懂英文的日本迫切需要机器翻译。在国家政策大力支持下，日本成为当时对机器翻译最具兴趣的国家。

由于基于规则的机器翻译（RBMT）很难进行英日翻译，因为翻译过程几乎要将所有的单词重新排列，而且还涉及到新的单词，这迫使日本必须寻求新的翻译思路。

于是，1984年，京都大学的Makoto Nagao提出了用现成的短语代替重复翻译的想法，也就是所谓基于实例的机器翻译（EBMT）。输入的案例越多，翻译也就越快越准确。

EBMT这个想法的出现，就像一颗火种点燃了科学家们的创新灵感，这对机器翻译的发展极具意义，虽然它还谈不上革命性的创举。但在5年之后，极具革命意义的统计翻译将基于此出现。

下篇预告

• 统计机器翻译(SMT)主导的 1990s-2000s 机器翻译时代；

• 神经机器翻译(NMT)在 2015 年终于粉墨登场；

• Google 与 Yandex 的高级玩法；

历史文章（点击图片阅读）

《为什么 10.24 是程序员节？》

《 这篇 Paper 有毒！》

《面对亲友，如何解释人工智能？》

超神经 HyperAI

公众号ID：HyperAI

关注